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古 农 文 语义 检索 模型 构建 及 其 应 用 研究 


Xii, EE, X R” 


(1. 中 国 农业 科学 院 农业 信和 


息 研究 所 ， 北 京 100081; 2. 农业 农村 部 农业 大 数据 重点 实验 室 ， 


北京 100081) 


fi 2: [目的 /意义 ] 构 建 能 实现 以 白话 文 作为 查询 ， 系 统 自动 返回 与 输入 最 相关 的 古 农 文 段落 的 语义 检索 模型 ， 为 学 者 提 
共 更 加 便利 的 古代 农业 知识 检索 方式 和 古代 农业 知识 溯源 方式 。 [方法 / 过 程 ] 使 用 基于 四 库 全 书 作 为 训练 语 料 的 SikuBERT 作 
为 基础 模型 ， 基 于 对 比 学 习 的 方法 ， 使 用 自 建 的 古 农 文 数据 集 对 模型 进行 继续 训练 ， 得 到 能 够 支持 使 用 白话 文 作 为 查询 ， 返 
可 与 查询 语义 最 相似 的 古 农 文 段落 的 语义 检索 模型 。 [结果 / 结论 ] 古 农 文 语义 检索 模型 的 Spearman 系数 在 测试 集 上 的 表现 能 
够 达到 86. 51%， 较 基线 模型 在 测试 集 上 的 表现 83.6% 有 一 定 程度 的 提升 ， 在 自 建 的 古 农 文 检索 测试 集 上 的 召回 情况 
(recall@k) 较 基线 模型 有 一 定 程度 提升 ， 模 型 在 古 农 文 上 能 够 有 比较 好 的 检索 效果 。 但 受 限 于 古 农 文 训练 语 料 规模 ， 模 型 的 
训练 效果 还 有 很 大 提升 空间 。 
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中 国 是 世界 上 著名 的 文明 古国 之 一 ， 拥 有 数 千 年 
未 曾 中 断 的 农耕 传统 和 农业 历史 ， 中 国 古 农 书 作为 中 
国 传统 农业 经 验 知识 、 传 统 农 业 生产 力 和 农业 历史 精 
髓 的 主要 和 载体， 未 受到 近代 西方 农学 影响 前 中 国人 扒 
写 的 有 关 农 业 生产 知识 的 著作 ， 是 中 国 珍贵 的 历史 文 
化 遗产 。 中 国 古 农 书 中 保存 有 大 量 资料 有 待 发 握 利 用 ， 
传统 作物 栽培 技术 多 半 仍 在 现代 农业 中 改造 利用 四， 中 


国 古 农 书 中 农业 知识 的 价值 并 没有 随 着 时 代 的 前 进而 
消失 ， 对 现代 农业 中 出 现 的 问题 依然 有 切实 指导 作用 。 
然而 ， 中 国 古 农 书 由 古文 写成 ， 用 涩 且 无 标点 ， 艰 深 
难 读 ， 普 通 大 众 只 能 望而却步 。 但 古 农 书 的 价值 需要 
传承 和 发 扬 ， 借 助 机 器 学 习 、 深 度 学 习 等 技术 ， 对 古 
农 书 中 的 知识 进行 挖掘 ， 不 仅 能 够 方便 学 界 进行 研究 ， 
还 可 以 向 公众 开放 服务 做 知识 普及 ， 推 动 优秀 文化 遗 
产 与 当代 社会 发 展 的 融合 ， 实 现 古 农 书 的 跨越 式 发 展 。 

2017 至 2022 年 间 ，《 关 于 实施 中 华 优秀 传统 文化 
传承 发 展 工程 的 意见 》《 中 华人 民 共 和 国 国民 经 济 和 
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社会 发 展 第 十 四 个 五 年 规划 和 2035 年 远景 目标 纲要 》 
《关于 推进 新 时 代 古 籍 工 作 的 意见 》 等 多 个 文件 都 提出 
要 “深入 实施 中 华 优秀 传统 文化 传承 发 展 工程 ”“ 加 
强 文物 和 古籍 保护 研究 利用 ”“ 提 升 中 华文 化 影响 力 ” 
“挖掘 古籍 时 代价 值 、 推 进 古籍 数字 化 建设 "。 习 近 平 总 
书记 更 是 指出 ， 要 “让 收藏 在 博物 馆 里 的 文物 、 陈 列 在 
广阔 大 地 上 的 遗产 、 书 写 在 古籍 里 的 文字 都 活 起 来 ”。 

为 了 解 学 者 对 中 国 古代 农业 书籍 的 使 用 需求 ， 本 
研究 使 用 文献 调研 的 方法 ， 在 知 网 已 发 表 论 文中 检索 
提 到 “证 农 书 ”“ 农 业 古 籍 ”的 文章 ， 通 过 对 检索 结 
果 进 行 分 析 找 出 古 农 书 的 使 用 者 和 使 用 需求 。 根 据 调 
查 ， 对 古 农 书 内 知识 进行 研究 和 直接 引用 的 多 为 农 史 
研究 者 、 农 业 研究 者 及 相关 专业 的 学 生 。 农 史 研 究 者 
在 使 用 古 农 书 时 ， 通 常会 通过 目录 、 版 本 、 校 期、 注 
释 、 考 证 、 辩 伪 、 辑 佚 等 理论 方法 来 分 析 、 整 理 和 研 
究 古 农 书 中 ， 或 是 通过 考究 和 利用 古代 有 关 农业 遗存 、 
配合 古 农 书 上 的 相关 记录 研究 农业 历史 中 ， 需 要 方便 
快速 的 根据 主题 、 关 键 字 或 相关 描述 查询 到 尽量 全 的 外 
相关 古代 农 文书 籍 原文 。 农 业 研究 者 使 用 古 农 书 一 般 
为 现代 农业 发 展 中 出 现 了 问题 ， 需 要 对 照 现 代 农 业 的 
问题 ， 从 古 农 书 中 查询 相关 问题 在 历史 上 出 现 的 缘由 、 
时 间 、 地 点 、 解 决 方法 、 相 关 政策 等 信息 ， 进 行 借鉴 
学 习 g00， 最 终 推 出 新 的 农业 模式 ， 也 需要 通过 现代 文 
的 描述 查找 古 农 书 中 的 相关 内 容 。 

目前 中 国 专 门 的 古 农 书 数据 库 有 以 下 几 个 : 南京 
农业 大 学 “中 华农 业 文明 网 ”， 提 供 对 《 齐 民 要 术 》 
《 农 政 全 书 》 等 16 本 农 书 的 网 络 检索 服务 ， 可 以 通过 
目录 关键 字 、 书 名 、 作 者 、 朝 代 对 古 农 书 进 行 检索 中; 
南京 农业 大 学 “中 国 农业 遗产 信息 平台 ”提供 200 余 
种 农业 古籍 的 分 类 浏览 检索 和 全 文 检索 四; 中 国 农业 
大 学 图 书馆 对 几 部 经 典 农 书 如 《 齐 民 要 术 》《 陈 敷 农 
书 》 等 进行 数字 化 处 理 ， 构 建 古 农 书 图 像 数 据 库 ， 并 
做 主题 标 引 ， 使 读者 可 根据 书 名 、 作 者 、 版 本 、 年 代 
对 其 进行 检索 ; 中 国 农业 科学 院 图 书馆 “农业 古籍 珍 


NUTT, ies, E R 
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想 要 获得 更 全 面 的 检索 结果 ， 就 需要 通过 多 轮 次 的 检 
索 并 且 手 动 构建 极为 复杂 的 检索 式 ， 更 适合 对 古籍 、 
古 农 书 有 一 定 了 解 的 学 者 使 用 ， 使 用 门槛 较 高 ， 不 能 
充分 理解 和 适应 读者 需要 。 

为 丰富 中 国 古 代 农业 书籍 中 文本 内 容 的 知识 挖掘 
利用 方式 、 提 高 知识 的 深度 挖掘 能 力 、 激 活 古 农 书 在 
新 时 代 的 传播 力 和 生命 力 ， 本 研究 面向 古 农 书 的 内 容 
言 息 ， 即 古 农 文 ， 做 语义 检索 模型 构建 及 其 应 用 研究 。 

语义 检索 指 检索 系统 不 再 拘泥 于 用 户 问 题 的 字面 
本 身 ， 而 是 能 精准 捕捉 到 用 户 问题 背后 的 真正 意图 ， 
并 以 此 进行 搜索 ， 从 而 更 准确 地 向 用 户 返 回 最 符合 的 
结果 。 目 前 通过 语义 检索 提高 检索 效果 的 实现 方式 主 
要 有 基于 统计 特征 的 语义 检索 、 本 体 语义 检索 和 向 量 
语义 检索 ， 本 文 使 用 的 语义 检索 方式 为 向 量 语义 检索 。 
使 用 语义 检索 进行 查询 时 ， 系 统 会 先 通过 语义 索 
引 模型 把 用 户 查 询 和 文档 集合 分 别 表示 成 可 以 反映 其 
核心 特征 的 向 量 ， 在 高 维 向 量 空间 中 对 它们 进行 索引 。 
在 这 个 向 量 空间 内 ， 语 义 相似 的 句子 向 量 距 离 就 比较 
近 ， 从 而 可 以 使 用 余弦 相似 度 、 曼 哈 顿 距离 、 欧 氏 距 
离 等 方法 计算 向 量 间 的 距离 、 度 量 用 户 查 询 和 文档 的 
相似 程度 ， 找 出 语义 相似 的 句子 ， 最 终 返 回 所 有 潜在 
的 与 问 句 相关 的 文档 列表 。 

语义 检索 可 以 让 使 用 者 在 未 经 过 专门 的 检索 工具 
培训 情况 下 使 用 自然 语言 输入 想 搜索 的 内 容 ， 而 不 需 
构建 检索 式 或 使 用 特定 语言 来 查询 。 大 将 语义 检索 应 
用 到 农业 古籍 领域 ， 现 代 农 业 研究 者 、 农 史 研 究 者 和 
相关 专业 的 学 生 等 ， 都 能 够 更 方便 的 查询 自己 感 兴趣 
的 内 容 。 

本 研究 基于 BERT 模型 框架 ， 利 用 《 齐 民 要 术 》 
《 汉 胜 之 书 》《 管 子 地 员 篇 》《 台 氏 春 秋 上 农 等 四 篇 》 
《 农 桑 辑 要 》《 农 政 全 书 》《 天 工 开 物 》《 亢 仓 子 农 道 
第 八 》《 补 农 书 》《 王 祯 农 书 》 共 10 本 农业 古籍 中 的 
文本 及 其 译文 的 平行 语 料 ， 构 建 可 实现 从 日 话 文 到 古 
农 文 的 语义 检索 模型 ， 即 能 够 实现 输入 白话 文 、 系 统 


藏 及 全 文 数字 化 研究 与 建设 ”项 目 ， 提 供 古 籍 书目 数 
据 库 检 索 和 重要 农 书 的 全 文 检索 。 可 以 看 出 ， 目 前 中 
国 古 农 书 的 检索 方式 仍 多 为 关键 字 检 索 或 全 文 检索 ， 


自动 返回 所 有 与 输入 句子 相关 的 古 农 文 段落 的 语义 检 
索 模 型 ， 为 学 者 提供 更 加 便利 的 古代 农业 知识 检索 方 
式 和 古代 农业 知识 溯源 方式 。 其 使 用 场景 为 : 学 者 在 
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写作 时 想 使 用 一 段 古文 做 引证 ,但 忘记 了 它 的 原文 是 
什么 ， 只 记得 大 概 的 意思 ， 或 是 在 看 一 本 古籍 时 ， 其 
中 对 于 某 一 个 方法 、 理 念 ， 好 像 以 前 在 哪 本 古籍 中 看 
到 过 ， 想 查 一 下 该 方法 、 概 念 的 内 容 沿 秦 情 况 时 ， 可 
以 使 用 语义 检索 系统 ， 直 接 输入 现代 文 的 描述 ， 系 统 
自动 返回 与 描述 最 相关 的 古文 。 


2 文献 综述 


2.1 语义 检索 


在 工业 上 由 于 需要 从 大 型 数据 库 中 返回 一 组 相关 
文档 ， 为 了 平衡 搜索 效率 和 效果 ,语义 检索 通常 采用 


工作 ， 如 使 用 查询 拓展 外 习 、 文 档 拓展 % 玉 、 术 语 依赖 
性 模型 中 、 主 题 模型 、 基 于 信息 检索 的 翻译 模型 等 。 
但 以 上 方法 仍然 处 在 词 袋 的 表征 范围 内 ， 依 赖 手 工 制 
作 的 特征 来 建立 表示 函数 ， 旨 在 用 从 外 部 资源 或 集合 
本 身 提 取 的 语义 单元 来 改进 经 典 的 词 袋 表示 ， 只 能 捕 
换 到 浅 层 的 句法 和 语义 信息 ， 未 能 突破 其 局 限 性 中。 
2013 年 之 后 ， 随 着 特征 表示 学 习 方法 的 发 展 ， 词 
藤 入 技术 P5 逐 渐 被 应 用 到 语义 检索 中 。 与 离散 的 符号 
表示 不 同 ， 词 艇 人 是 一 种 密集 的 表示 ， 可 以 一 定 程度 
上 缓解 词汇 的 错误 匹配 问题 。2016 年 之 后 ， 随 着 深度 
学 习 技 术 的 发 展 ， 学 者 们 开始 在 传统 的 离散 符号 表示 
范式 中 改进 文档 表示 Ps3， 或 在 稀 琉 表示 和 密集 表示 范 
式 中 直接 形成 一 系列 新 的 语义 检索 模型 I， 一 般 称 之 


多 阶段 的 排名 策略 ， 即 “召回 和 重 排 ” 策 略 凡 9。 召 回 
和 重 排 阶段 都 是 通过 对 查询 和 文档 的 相关 性 进行 评估 返 
回 文档 ,但 根据 其 目的 的 不 同 通常 使 用 不 同 的 模型 9。 
召回 阶段 的 目标 是 从 庞大 的 文档 库 中 召回 所 有 潜在 的 
相关 文档 ， 然 后 传递 给 重 排 阶段 。 在 重 排 阶段 ， 由 于 
需要 考虑 的 文档 数量 较 少 ， 通 常会 采用 更 复杂 的 排序 
模型 构成 重新 排序 器 ， 使 用 1 个 或 多 个 重新 排序 器 对 
已 召回 的 文档 进行 排序 ， 每 个 重新 排序 器 接收 前 一 个 
重新 排序 器 生成 的 排序 列表 ， 依 次 其 进行 重 排 ， 最 后 
将 最 终 的 重 排 结果 返回 给 用 户 。 因 此 召回 阶段 通常 优 
先 考 虑 效率 和 高 召回 率 ， 重 排 阶段 更 多 的 考虑 有 效 性 。 

本 文 主要 对 古 农 文 语义 检索 第 一 阶段 召回 模型 进 
行 研究 ， 为 方便 称呼 ,后续 直 接 称 其 为 古 农 文 语义 检 
索 模 型 。 

语义 检索 的 发 展 分 为 3 个 阶段 : 基于 术语 的 语义 
ER, 、 基 于 特征 表示 阶段 和 神经 语义 检索 。 

语义 检索 最 开始 是 将 查询 和 文档 分 别 用 离散 的 词 
袋 (BOW) 表示 ， 再 利用 倒置 索引 技术 来 管理 大 规模 
文档 ， 如 BM25 (术语 匹配 +TF-IDF 权重 ) ， 这 种 基于 
术语 的 检索 模式 由 于 其 简单 的 逻辑 和 强大 的 索引 ， 得 
到 了 非常 好 的 召回 效果 中 沪 。 但 由 于 独立 性 假设 ,它们 
可 能 出 现 词 汇 不 匹配 中 ， 并 且 由 于 没有 考虑 术语 出 现 
的 序列 ， 它 们 可 能 不 能 很 好 的 捕捉 到 文档 的 语义 外。 

为 了 得 到 更 好 的 检索 效果 ， 学 者 们 进行 了 大 量 的 
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为 神经 语义 检索 方法 。 神 经 检索 方式 能 够 通过 神经 网 
络 建立 表示 函数 和 评分 函数 的 检索 方式 &40， 使 用 词 般 
入 技术 来 捕获 单词 的 语义 属性 ， 并 以 端 到 端的 方式 从 
数据 中 学 习 深层 语义 和 复杂 的 互动 关系 。 


2.2 相关 预 训练 模型 


随 着 深度 学 习 的 发 展 ， 模 型 参数 的 数量 迅速 增加 ， 
需要 更 大 的 数据 集 来 完全 训练 模型 参数 并 防止 过 拟 合 外 ， 
但 构建 大 规模 的 标注 数据 集 是 一 个 巨大 的 挑战 ， 预 训 
练 模型 可 以 从 容易 获得 的 大 规模 无 标注 数据 上 学 习 到 
通用 、 良 好 的 语言 表示 和 更 好 的 初始 化 参数 中， 然后 
将 这 些 表 示 形 式 用 于 其 他 任务 。 由 于 古文 标注 资源 的 
稀缺 性 ， 在 做 相关 方面 的 研究 时 ， 需 要 使 用 预 训练 模 
型 来 增强 模型 在 低 资 源 环 境 下 的 文本 处 理 效 果 。 

目前 针对 英文 和 现代 文通 用 领域 的 语义 索引 模型 
已 经 有 了 很 多 的 研究 ， 在 工程 上 也 取得 了 比较 好 的 效 
果 。 但 是 在 古文 领域 ， 由 于 缺乏 大 规模 纯净 的 古文 及 其 
译文 数据 ， 构 建 古 文 标注 训练 集成 本 高 易 ， 对 数据 标注 
人 员 具 有 较 高 要 求 四 ， 古 文 领域 的 预 训练 语言 模型 很 少 。 

目前 面向 古文 的 预 训练 语言 模型 只 有 北京 理工 
Kee TARGA GuwenBERT、 南 京 农 业 大 学 王 东 波 等 的 
SikuBERT 和 SikuRoBERTa, WANG 的 Bert-Antient- 
Chinese, 3X 4 个 模型 都 是 以 BERT 类 模型 作为 基线 
模型 ， 使 用 不 同 的 训练 数据 进行 训练 得 到 的 预 训练 语 


言 模型 。 在 模型 训练 上 ，GuwenBERT 是 基于 继续 训练 
技术 ， 在 中 文 RoBerta 的 基础 上 ， 使 用 殖 知 阁 古 文 数 
据 (包含 15 694 本 古文 书籍 ， 字 符 数 1.7B， 所 有 繁体 
字 均 经 过 简体 转换 处 理 ) 进行 迁移 学 习 训练 出 的 预 训 
练 语言 模型 ， 能 够 在 简体 中 文 下 获得 较 好 的 古文 处 理 
性 能 ; SikuBERT 和 SikuRoBERTa 是 在 中 文 BERT 和 
中 文 RoBERTa 基础 上 ， 基 于 领域 适应 训练 的 思想 ,使 
用 繁体 《四 库 全 书 》 全 文 语 料 (字数 达 536 097 588 
个 ， 数 据 集 内 的 汉字 均 为 繁体 中 文 ) 训练 出 的 面向 古 
文 自动 处 理 领域 的 预 训练 语言 模型 ， 该 模型 更 适用 于 
繁体 古籍 处 理 ;，Bert-Antient-Chinese 是 在 中 文 BERT 
的 基础 上 ， 基 于 领域 适应 训练 的 思想 ， 结 合 古 文 语 料 
进行 继续 训练 得 到 的 面向 古文 自动 处 理 领 域 的 预 训练 
模型 ， 训 练 时 使 用 涵盖 了 从 部 、 道 部 、 佛 部 、 集 部 、 
儒 部 、 诗 部 、 史 部 、 医 部 、 艺 部 、 易 部 、 子 部 作为 训 
练 集 ， 训 练 集 规模 约 为 《四 库 全 书 》6 倍 大 的 语 料 进行 
继续 训练 得 到 的 拥有 更 大 词 表 的 预 训练 语言 模型 ( 词 表 
大 小 为 38 208, SikuBERT/SikuRoBERTa 为 29 791) , 
能 够 同时 适用 于 繁体 和 简体 。 

支持 通过 向 量 语义 相似 度 进行 从 白话 文 到 古文 的 语 
义 检索 的 模型 只 有 南京 农业 大 学 的 BThBER fll ZHANG 
的 XLsearch-cross-lang-search-zh-vs-classicical-cn。 在 模 
型 训练 上 ，BTfhBER 是 在 中 文 BERT 的 基础 上 ， 基 于 
二 十 四 史 古 白 平行 语 料 继续 训练 的 古 白 跨 语言 预 训练 
模型 ，XLsearch-cross-lang-search-zh-vs-classicical-cn 是 
在 BERT-base-Chinese 的 基础 上 ， 使 用 约 90 多 万 句 古 
白 平 行 句 对 进行 训练 ， 得 到 的 古 白 跨 语言 模型 。 二 者 
在 从 白话 文 到 古文 的 语义 文本 相似 度 任务 上 可 以 获得 
较 好 的 效果 ,但 在 进行 从 白话 文 到 古 农 书 内 文本 的 语 
义 检索 任务 时 ， BORA TAR, 


3 数据 与 方法 


3.1 数据 源 简介 


本 实验 使 用 自行 构建 的 古 农 文 语义 检索 数据 集 ， 
其 中 共有 十 白 平行 语 料 数据 9542 对 ， 其 中 正 例 4771 
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对 ， 通 过 随机 采样 生成 负 例 4771 对 ， 共 含 汉字 1535514 
个 ， 所 有 汉字 均 为 票 体 字 。 将 句 对 按 8:1:1 的 比例 分 成 
训练 集 、 验 证 集 、 测 试 集 。 

模型 输入 时 ， 使 用 Gu, x^, x0) 的 形式 ， 向 模型 
输入 原 句 、 正 例 和 负 例 ， 使 得 模型 在 保证 正 例 间 相似 
度 的 同时 将 负 例 的 距离 推 远 。 最 终 形成 训练 集中 含 三 
元 组 数据 3 808 条 ， 测 试 集 和 验证 集中 各 含 句 对 952 
对 。 

以 上 数据 共 来 源 于 10 本 农业 古籍 原文 及 其 译文 : 
《 齐 民 要 术 》《 沁 胜 之 书 》 《管子 地 员 篇 》《 吕 氏 春 秋 
上 农 等 四 篇 》《 农 桑 辑 要 》《 农 政 全 书 》《 天 工 开 物 》 
《 亢 仓 子 农 道 第 八 》《 补 农 书 》《 王 祯 农 书 》。 其 中 ， 
古 农 文 文本 数据 来 源 于 殖 之 阁 和 国学 梦 两 个 国学 经 典 
网 站 ， 对 应 的 译文 分 别 使 用 梁 乐 和 许 蒙 翻译 、 巴 罚 书 
社 1995 ERII (GFR ARATE), SH, SK 
春花 的 《 农 政 全 书 译文 》， 陈 恒 力 、 王 达 的 《 补 农 书 校 
TE), Dati, ZER ABERRBAE), BS 
E (RIF) EX, EFRR (KRH) 
X, DRE QUEZ Bite), Pa (ARE 
秋 》 上 农 等 4 篇 译文 ， 书 摘 天 下 《管子 》 地 员 篇 译文 ， 
Aik QUO RIE). 

最 后 ， 为 了 检测 模型 在 召回 任务 上 的 性 能 ， 本 实 
验 还 使 用 基于 汉语 古典 文本 数据 库 scripta-sinica 进行 微 
调 的 古 汉 语 问 答 模 型 Bloom 春 华 ， 对 除 上 述 10 本 农 书 
之 外 的 其 他 农 书 中 随机 抽取 的 段落 进行 翻译 ,构建 出 
用 于 进行 模型 召回 效果 评价 的 数据 集 ， 其 中 共 含 古 白 
pet 477 对 。 


3.2 古 农 文 预 训 练 模 型 构建 


本 研究 构建 了 一 个 古 农 文 语义 检索 模型 ， 能 够 实 
现 使 用 白话 文 作为 查询 ， 检 索 出 数据 库 中 与 查询 语义 
相似 度 最 高 的 个 古 农 文 段落 的 功能 。 实 验 共 分 为 4 
个 部 分 : 语 料 预 处 理 、 模 型 训练 、 模 型 效果 评价 和 语 
义 检索 任务 测试 。 

实验 先 根据 10 本 古 农 书 文本 数据 及 其 译文 数据 的 
情况 进行 清洗 和 数据 对 齐 ， 构 建 出 古 白 平行 语 料 ， 按 
照 “8:1:1” 划 分 训练 集 、 验 证 集 和 测试 集 。 
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模型 训练 阶段 ， 根 据 预 实验 结果 对 训练 参数 进行 
调整 ， 使 用 Pytorch 版 的 SikuBERT 模型 和 SimCSE 有 
监督 训练 框架 ， 在 训练 集 和 验证 集 上 完成 模型 的 训练 。 
在 效果 评价 阶段 ， 在 测试 集 上 使 用 文本 相似 度 任务 判 
断 模 型 训练 效果 ， 再 通过 语义 检索 任务 分 析 模 型 检索 
性 能 。 
3.2.1 训练 模型 选取 


BERT (Bidirectional Encoder Representations from 


3.2.2 模型 训练 方法 

原生 BERT 在 进行 语义 文本 相似 性 等 句子 对 回归 
任务 时 并 没有 计算 独立 的 句子 做 人 ， 而 是 通过 交叉 编 
码 器 将 两 个 句子 拼接 成 一 个 序列 后 传递 给 Transformer 
来 预测 目标 ， 这 种 方式 使 得 它 在 时 间 和 计算 量 上 都 会 
产生 巨大 的 开销 ， 大 量 的 实验 也 证 明了 BERT 开 箱 即 
用 地 将 句子 映射 到 一 个 向 量 空间 并 不 适合 用 于 常见 的 
相似 度 度量 (如 余弦 相似 度 )， 直 接 使 用 原生 BERT 会 


Transformers) 的 是 2018 年 谷歌 提出 的 面向 自然 语言 处 
理 任 务 的 自 监督 预 训 练 语言 模型 ， 它 使 用 Transformer 
的 双向 编码 器 结构 作为 特征 提取 器 ， 为 了 实现 文本 的 
双向 建 模 ，BERT 采用 一 种 类 似 完 形 填空 的 做 法 来 实 
现 基于 自 编 码 的 预 训练 任务 ， 即 为 掩 码 语言 模型 
(MLM，Masked Language Model) 。MLM 在 预 训 练 任 
务 时 将 输入 文本 中 的 部 分 单词 Mask 并 还 原 为 原单 词 用 
以 避免 双向 语言 模型 带 来 的 信息 泄露 问题 ， 使 得 模型 
通过 被 掩 码 词 周围 的 上 下 文 信息 来 还 原 掩 码 位 置 的 词 ， 
从 而 学 习 上 下 文敏 感 的 文本 表示 。 为 了 学 习 两 断 文本 
之 间 的 关联 ，BERT 还 通过 下 一 句 预测 任务 (NSP, 
Next Sentence Prediction) ， 即 通过 判断 句子 B 是 否 是 句 
T A 的 下 一 个 句子 来 构建 两 段 文本 之 间 的 关系 四。 
BERT 通过 掩 码 语言 模型 的 方法 训练 词 的 语义 理解 能 
力 ， 下 一 句 预 测 的 方法 训练 句子 之 间 的 理解 能 力 ， 使 
得 它 能 够 很 好 的 支持 那些 涉及 句子 间 语 义 联系 判断 、 
需要 对 文本 进行 深层 语义 理解 、 需 要 分 析 句 子 语义 信 
息 的 下 游 任务 外 。 而 BERT 的 “ 预 训练 - 微调 ”训练 方 
法 也 使 得 只 需要 对 模型 的 高 层 参 数 进行 调整 ， 就 能 让 
模型 适应 不 同 的 下 游 任务 。 

谷歌 2018 年 发 布 的 基础 BERT 主要 适用 于 英文 ， 
为 了 拓展 其 适用 范围 ， 谷 歌 后 续 又 发 布 了 使 用 中 文 维 
基 百 科 训 练 的 面向 中 文 的 预 训练 语言 模型 BERT-Base- 
Chinese。 

SikuBERT 2 7E PX BERT 的 基础 上 ， 基 于 领域 
适应 训练 的 思想 ,使 用 繁体 《四 库 全 书 》 全 文 语 料 
(字数 达 536 097 588 个 ， 数 据 集 内 的 汉字 均 为 繁体 中 
文 ) 训练 出 的 面向 古文 自动 处 理 领 域 的 预 训练 语言 模 


型 。 
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产生 很 糟 的 句子 能 入 四 ， 在 语义 相似 度 任务 上 表现 并 
不 好 。 

SimCSE 史 是 一 个 简单 的 对 比 学 习 框 架 ， 通 过 拉 近 
语义 上 接近 的 句子 、 推 远 语义 不 相似 的 句子 来 增强 句 
子 甬 入 的 学 习 效 率 ， 能 够 极 大 的 提高 在 语义 文本 相似 
度 上 名 向 量 的 质量 。 训 练 时 ， 除 了 将 给 出 的 矛盾 数据 
作为 困难 负 例 ，SimCSE 还 将 批 次 中 其 它 句 子 作为 负 
例 ， 使 得 在 减 小 相似 样本 间距 离 的 同时 ， 增 加 不 相似 
样本 间 的 距离 ， 提 高 向 量 表征 。 例 如 : 假如 一 个 批 次 
中 及 个 三 元 组 名 对 ， 每 个 句子 就 有 1 个 正 例 和 六 个 
负 例 。 在 数据 扩充 的 同时 ，SimCSE 还 通过 在 训练 过 程 
中 还 通过 正 例 对 齐 性 (Alignment) 和 空间 一 致 性 (Uni- 
formity) 来 衡量 词 租 人 的 学 习 质 量 。 正 例 对 其 性 能 够 
计算 句 对 般 入 的 预期 距离 ， 空 间 一 致 性 能 够 衡量 舱 入 
均匀 分 布 的 程度 。 有 文章 通过 实证 分 析 ， 对 齐 性 和 一 
致 性 与 对 比 学 习 的 目标 一 致 ， 提 高 空间 一 致 性 能 够 绥 
fit BERT 的 各 向 异性 。 一 般 来 说 ， 具 有 更 好 的 正 例 对 
齐 性 和 空间 一 致 性 的 模型 可 以 获得 更 好 的 性 能 。 

本 文 分 别 使 用 BERT-Base-Chinese 和 SikuBERT 作 
为 基础 模型 ， 使 用 SimCSE 有 监督 训练 框架 ， 在 自 建 
的 古 农 文 数据 集 上 进行 古 农 文 语义 检索 模型 的 训练 。 
3.2.3 模型 效果 评价 指标 

斯 皮尔 曼 等 级 相关 系数 (Spearman's Rank Correla- 
tion Coefficient, Spearman 相关 系数 p) 是 衡量 两 个 变 
量 的 依赖 性 的 非 参数 指标 。 它 利用 单调 方程 评价 两 个 
统计 变量 的 相关 性 。 如 果 数 据 中 没有 重复 值 ， 并 且 当 
两 个 变量 完全 单调 相关 时 ， 斯 皮尔 曼 相 关系 数 则 为 +1 
或 -1。 即 斯 皮尔 曼 相关 系数 是 衡量 排名 而 不 是 实际 分 
数 的 ， 更 适合 评估 句子 做 人 。 


由 于 本 项 目 数据 集 是 把 句子 对 进行 0、1 打分 来 区 
分 是 否 相似 的 ， 所 以 在 模型 效果 评价 阶段 ,评测 指标 
采用 斯 皮尔 曼 等 级 相关 系数 ， 即 给 定 句 对 ， 模 型 通过 
计算 句子 般 入 的 余弦 相似 性 和 黄金 标签 之 间 的 斯 皮尔 
坚 秩 相关 性 来 判断 两 个 句子 的 语义 是 否 相 同 。 对 于 样 
本 容量 为 n 的 样本 ,，n 个 原始 数据 关 、Y 被 转换 成 等 级 
数据 x、y， 相 关系 数 为 斯 皮尔 曼 相 关系 数 p， 得 分 越 
高 说 明 相关 性 越 高 。 

间 标 计算 公式 如 下 : 

dil — X)(yi - Y) 

VADO — 

Recall@k 召回 率 ， 指 前 TopK 结果 中 检索 出 的 相 
关 结 果 数 和 库 中 所 有 的 相关 结果 数 的 比率 ， 衡 量 的 是 
检索 系统 的 查 全 率 。 


Recall@k = Ue positives @k 
all_positive 


其 中 true positices@k zz k 个 预测 结果 中 正 例 的 
数量 ，all_positive 表示 全 库 中 所 有 的 正 例 数 。 
3.2.4 模型 参数 设置 

古 农 文 语 义 检 索 模 型 训练 时 ， 使 用 的 参数 如 表 1 
所 示 。 


表 1 主要 超 参数 设置 


Table 1 Main hyperparameter settings 


超 参数 解释 m 
max seq length 最 大 输入 序列 长 度 512 
train_batch_size 每 个 批 次 训练 数据 大 小 16 
learning rate 学 习 率 2e-5 
warmup_steps 预 热 学 习 步 数 训练 集 的 10% 
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4 实验 结果 及 分 析 


4.1 Spearman 系数 


直接 使 用 SikuBERT 和 BERT-Base-Chinese 对 验证 
集 进行 模型 语义 相似 度 预测 时 ， 甚 Spearman 系数 分 别 
为 83.69% 和 69.52% 

训练 后 的 SimCSE-BERT-Base-Chinese 和 SimCSE- 
SikuBERT 在 古 农 文 模型 在 验证 集 上 的 Spearman 系数 
为 86.14% 和 86.51%， 相 比 原始 模型 在 测试 集 上 的 表现 
有 较 大 提升 ， 说 明 模 型 学 习 到 了 相关 古 农 文 知识 。 


4.2 模型 效果 


从 表 2 可 以 看 出 ， 训 练 后 的 SimCSE-BERT-Base- 
Chinese 和 SimCSE-SikuBERT 在 使 用 大 语言 模型 Bloom 
春 华 进 行 拓展 的 测试 集 上 ， 召 回 效果 要 强 于 直接 使 用 
基础 模型 。 

由 于 SimCSE-SikuBERT 的 整体 效果 最 好 ， 所 以 本 
实验 选择 SimCSE-SikuBERT 作为 古 农 文 语义 检索 模型 。 


4.3 检索 效果 


本 实验 使 用 SikuBERT 和 训练 后 的 古 农 文 语义 检 
索 模 型 进行 小 规模 的 检索 实验 。 

本 实验 采用 双 编 码 器 结构 ， 将 查询 和 数据 库 中 的 
段落 分 别 使 用 相同 的 编码 器 〈 语 义 检索 模型 ) 进行 独 
立 编码 ， 得 到 稠密 表示 向 量 。 由 于 语料库 中 数据 较 少 ， 
使 用 余弦 相似 度 计算 问题 和 语料库 中 所 有 段落 的 相似 
度 ， 返 回 得 分 最 高 的 2 个 段落 。 


num_epochs 训练 周期 3 
在 语义 检索 文档 数据 方面 ， 本 项 目 根据 王 航 湖 
表 2 模型 召回 效果 
Table 2 Model recall effect 
模型 Recall@1/% Recall@5/% Recall@10/% 
SikuBERT mean 81.55 90.15 92.03 
BERT-Base-Chinese mean 54.93 70.02 76.73 
SimCSE-BERT-Base-Chinese 96.02 98.56 98.96 
SimCSE-SikuBERT 96.44 98.74 99.00 
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《中 国 农学 书 录 》 记 载 的 中 国 古 农 书 轶 存 情况 ， 对 中 国 
古 农 书 的 数字 化 文本 进行 搜寻 ， 共 搜集 到 108 本 农 书 。 
为 了 方便 使 用 搜集 到 的 古 农 文 文本 内 容 进行 模型 的 训 
练 和 后 续 的 语义 检索 ， 本 项 目 对 搜集 到 古 农 书 文本 ， 
即 古 农 文 ， 进 行 整理 、 清 洗 、 分 段 、 去 重 ， 最 终 得 到 
14 133 条 古 农 文 数据 ， 将 其 作为 古 农 文 语义 检索 模型 
进行 语义 检索 任务 的 文档 数据 。 通 过 知 网 参考 文献 中 
有 《 齐 民 要 术 》《 王 祯 农 书 》《 补 农 书 》 等 农业 古籍 
的 论文 ， 查 看 作者 引用 目的 ， 准 备 一 些 用 现代 文 描 述 
的 古代 农业 技术 知识 作为 查询 ， 观 察 模型 在 古 农 文 语 
义 检 索 中 的 性 能 。 

实验 中 使 用 的 错 为 中 文 繁体 字 ， 为 方便 查看 ,使 
用 OpenCC 将 查询 和 检索 结果 转换 成 中 文 简体 。 

从 表 3 可 以 看 出 ,使 用 训练 过 的 语义 检索 模型 ， 
检索 出 的 句子 质量 更 高 ， 并 且 除 了 现代 文 对 应 的 古文 ， 
还 能 够 检索 出 其 它 意思 相近 的 古文 ， 起 到 知识 渊源 的 
效果 。 


RI 语义 检索 试验 结果 


实验 结果 表明 ， 基 于 SimCSE 框架 对 基础 古文 语 
言 模 型 SikuBERT 进行 训练 ， 能 够 使 模型 学 习 到 单词 
的 上 下 文 信息 ， 生 成 句子 级 的 僚 人 表达 ， 提 升 语 义 检 
索 速 度 ， 且 其 检索 结果 较 基 线 模型 有 一 定 程 度 的 提升 ， 
能 够 有 效 提升 在 古 农 文 上 的 语义 检索 效果 ， 验 证 了 双 
语 和 反 翻 译 语料库 可 以 为 语义 相似 性 学 习 提 供 有 用 的 
监督 ， 基 于 BERT 的 “ 预 训 练 - 微调 ”训练 方法 在 
SimCSE 结构 上 是 可 行 的 。 

受 限于 古 农 文 语 料 数 据 数 量 及 质量 ,使 得 目前 古 
农 文 语义 检索 模型 的 效果 依然 不 如 预期 ， 训 练 时 使 用 
的 古 农 文 古 白 句 对 在 词汇 重 做 上 往往 比较 多 ， 这 会 影 
响 模 型 的 学 习 效 率 ， 使 得 模型 在 用 于 搜索 时 更 容易 寻 
找 句 面相 似 而 非 语义 相似 的 句子 。 同 时 ， 本 项 目 训 练 
时 使 用 的 古 白 数据 集 是 没有 困难 负 例 的 ， 构 造 时 直接 


Table 3 Semantic retrieval experiment results 


SikuBERT mean 


SimCSE-SikuBERT 


Queryl: 在 豆 叶 落 尽 的 时 候 要 全 部 收割 ， 或 者 在 豆 


青 黄 相 间 的 时 候 将 植株 拔 出 ， 扎 拢 倒置 ， 这 样 成 熟 的 小 豆 不 受 天 气 影响 ， 颗 粒 饱满 


#1 下 接力 ， 须 在 处 署 后 ， 苗 做 胎 时 ， 


在 苗 色 正 黄 之 时 。 如 苗 色 不 黄 ， 


不 可 下 接力 ; IEDR, PERS F. FERA, ER 


Jii. Rø M 


断 。 夫 收割 之 法 ， 待 其 可 收 则 刘 。 豆 角 三 青 两 黄 ， 拔 而 倒 竖 笼 从 之 ， 
EARI, DRIE, MEER, AAH 


= 


穗 之 后 ， 每 亩 下 饼 三 斗 ， 自 足 接 其 力 。 
Af fü 


切 不 可 未 黄 先 下 ， 致 好 苗 而 无 


#2 KCI, WRH 
REDE, DRE, MAZE, EEMI 


可 收 则 刘 。 豆 角 三 青 两 黄 ， 拔 而 倒 竖 笼 从 之 ， 则 生 


叶 落 尽 ， 则 刘 之 。 叶 未 尽 者 ， 难 治 而 易 湿 也 。 豆 角 三 青 两 黄 ， 拔 
MEREANA, EAIA, PRIE, MEER, EEM, JI 
胜 浊 者 


Query2: 为 预防 气候 变化 ， 应 既 种 早 谷 ， 亦 种 晚 谷 ， 不 宜 只 种 一 种 ; FA 


FE 节 季 稍 晚 ， 应 当 迟 种 ， 在 正常 年 分 ， 应 以 早 种 为 佳 ， 早 种 量 应 超过 晚 


种 量 的 一 倍 

#1 ”芒种 有 二 义 : 郑 元 谓 有 芒 之 种 。 若 今 黄 移 谷 是 也 。 一 谓 待 芒种 节 过 用 ” 凡 田 欲 早晚 相 杂 ， 防 岁 道 有 所 宜 。 有 闽 之 岁 ， 节 气 近 后 ， 宣 晚 田 。 
种 。 今 人 占 候 ， 夏 至 小 满 至 芒种 节 ， 则 大 水 已 过 ， 然 后 以 黄 物 谷 种 之 然 大 率 欲 里 ， 早 田 倍 多 于 晚 田 
于 湖 田 。 然 则 有 芳 之 种 与 芒种 节 候 二 义 ， 可 并 用 也 。 黄 穆 谷 自 初 种 以 
至 收 刘 ， 不 过 六 七 十 日 ， 亦 可 以 避 水 汶 之 患 

#2 春 大 豆 ， 次 种 谷 之 后 。 二 月 中 旬 为 上 时 ， 用 子 八 升 ;三 月 上 旬 为 BBG ATE. AP Ze, AIR EI, ARKA, ALT 
中 时 ， 亩 用 子 一 斗 ; 四 月 上 旬 为 下 时 ， 亩 用 子 一 斗 二 升 。 岁 宜 晚 者 倍 多 於 晚 
五 六 月 亦 得 ， 然 时 晚 则 种 子 当 稍 加 ， 地 不 求 熟 故 也 。 尤 当 及 时 钠 治 ， 


使 之 叶 蔽 其 根 ， 


RAS BS AE 
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使 用 其 它 古 农 文 的 译文 作为 负 例 ， 这 也 会 导致 训练 结 
一 步 提升 。 语 义 检 索 在 构建 段落 向 量 时 ， 向 


d dd eae 合适 Men ME 


MAI ie 

EHE BERE Sa ADIDAS, RUP 
用 模型 ， 同 时 探寻 将 已 有 的 古 农 史 知 识 融 合 到 模型 训 
练 中 去 ， 达 到 更 好 的 古 农 文 语义 检索 效果 。 
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Construction and Application of Semantic Retrieval Model for 
Ancient Agricultural Literature 
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Abstract: [Purpose/Significance] The ancient Chinese agricultural books are the main carrier of traditional agricultural experience, and 
represent the productivity and the essence of agricultural history in China. The value of agricultural knowledge in them has not 
disappeared with the progress of the times, and still has practical guidance for the problems that arise in modern agriculture. However, 
the ancient Chinese agricultural books are written in ancient Chinese, which are obscure and without punctuation, making them difficult 
to use. Semantic retrieval is a retrieval method that automatically queries and extracts relevant information from information sources at 


the semantic level. It can accurately capture the true intention behind user problems and conduct searches based on it, and thereby it is 
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capable of returning more accurate and the most consistent results to users. However, currently most relevant research only focuses on 
major languages, and there is insufficient research on sentence embedding in ancient Chinese prose. In order to fill the gap in the field 
and provide scholars with more convenient methods for retrieving ancient agricultural knowledge and tracing ancient agricultural 
knowledge, this study is based on comparative learning methods to construct a semantic retrieval model that can automatically return the 
most relevant ancient agricultural paragraph with input, using vernacular Chinese as the query. [Method/Process] SikuBERT, which is 
based on Siku Quanshu as the training corpus, is used as the basic model. Based on the method of comparative learning, the model is 
continued to be trained using the self-built ancient agricultural dataset, and a semantic retrieval model that can support the use of 
vernacular as a query and return the ancient agricultural paragraphs most similar to the query semantics is obtained. 
[Results/Conclusions] The Spearman coefficient of the ancient agricultural text semantic retrieval model can achieve 86.51% 
performance on the test set, which is a certain degree of improvement compared to the baseline model's 83.6996 performance on the test 
set. The recall situation on the self built ancient agricultural literature retrieval test set has been improved to a certain extent compared to 
the baseline model, and the model can have good retrieval results on ancient agricultural literature. However, semantic retrieval models 
usually require relevant semantic similarity datasets or semantic matching datasets for training. Due to the lack of large-scale and pure 
ancient Chinese data in the field of ancient agricultural literature, and the high cost of constructing relevant datasets requiring personnel 
with high-standard relevant professional qualifications, this experiment used a self-built dataset for training, which is limited by the 
quantity and quality of ancient agricultural language corpus data. The current semantic retrieval model for ancient agricultural literature 
is still not as effective as expected. In the future, we will search for training methods suitable for small samples, such as transfer learning 
based on cross language pre-training models to improve the retrieval performance. 
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